【文献与探索】循证决策的循证规范（NERD）：量表开发、信度和效度

类别：公共政策　

导言

制定有效的公共政策就需要优良的政策设计，循证决策（EBPM，Evidence-Based Policy-making“基于证据的决策”）开始越来越得到重视与关注。作为一种促进理性决策，提高公共服务供给和治理效率的战略，循证决策正在快速发展。为了理解在不同背景下公共管理者的证据使用范围有多广，以及为什么有一些强调证据而另一些则并不如此，必须对管理决策中的研究和证据的使用有一个好的测量标准和手段。最近美国两位公共政策学者Jeremy L. Hall与Gregg G. Van Ryzin合作，开发了一套新的量表。本文报告了一个新的多级量表的开发和测试，循证决策的循证规范（NERD），可以跨组织和职能背景地用于评估机构内循证管理实践。论文发表在顶级期刊PAR（Public Administration Review）上。

（文献来源：Hall, J. L., & Van Ryzin, G. G.(2018). A Norm of Evidence and Research in Decision‐making (NERD): Scale Development, Reliability, and Validity. Public Administration Review, 79(3)：321–329.　DOI:10.1111/puar.12995）。

引言

大量的研究试图确定文化在机构行为和绩效中的作用。最近，人们关注在机构决策中如何使用证据，以及这种循证的方法渗透到公共部门和非营利组织的程度。本研究为评估证据在日常管理和政策决策中的使用提供了一个新的工具NERD，它是衡量机构的文化对研究方法和科学证据的重视程度的标准，其评分可以运用于从人力资源管理到财务、预算和服务提供等多个领域。

循证管理的核心是一种新的治理方法，它强调知识和事实而不是信仰和价值观。他们的工作将更多地由事实而非直觉指导，他们将尊重由证据支持的决策和政策，而不是权力或魅力。循证管理在全球范围内被广泛接受，部分原因是为了响应日益增长的要求——政府必须在绩效和战略目标的实现方面对选民负责。政策制定者也认为证据是责任性的一个重要来源。然而，不是每个机构都充分准备好采取这种方法。不同机构的文化不同，很大程度上是由于所提出的问题的性质、利用实验方法的能力、领域的专业化程度以及建立证据的数据基础不同。换言之，不同类型的机构在实施循证管理的动机和能力上存在很大差异。本文研究者们提出的NERD量表为更好地理解和解释这种变化提供了工具。

公共政策和实践中的证据

作为一种合理的战略，循证实践（Evidence-Based Practise）正在兴起。2016年美国公共管理学会年会将EBP列为六个反映“公共管理新传统”的超级板块之一，对于证据使用和它对决策和管理的潜在影响说明需要更好的工具来了解其在公共组织和非营利组织中的使用程度。学者们对证据在公共行政和政策中的使用提出了许多关注。例如，Kamensky（2011）提出了体制改革需要促进循证的总统决策。Hall和Jennings（2008）讨论了与选择证据标准相关的挑战，认为在某些领域和某些问题中，证据质量应受到决策固有风险水平的控制。Head（2008）确定了许多管理者面临的第二个挑战：权衡系统（科学）、专业和政治等不同类型的证据，以及他们的权重。循证决策面临的一个突出问题是跨机构和职能部门使用证据的程度不同；更重要的是，我们不完全理解为什么一些公共管理者选择使用证据多于其他人。Hall和Jennings（2010）发现，证据的权重和使用在美国各州的机构职能中存在很大差异，部分是由于证据的可得性和各个领域的实践规范相关的挑战。他们还补充说，尽管证据有助于解决工具性问题，但对根植于价值观和信仰的政治问题影响不大。

为了理解为什么证据在某些组织中比其他组织更受重视和使用，有必要对循证决策进行标准化的衡量。为此，本研究开发和验证了一个新的量表，它可用于不同政策领域和组织类型，以评估机构内的循证实践规范。研究者们首先简要介绍了公共行政部门循证决策面临的挑战和机遇，并强调了指导这一新兴调查领域的核心研究问题。然后，建议需要一个面向证据的决策的标准化测量，该测量可以应用于各种组织和政策环境。本文的其余部分描述了开发该量表所采用的方法，提出了对该量表的可靠性和有效性的实证评估，并对该量表的潜在价值提出了总结性的想法，以供日后对公共组织和非营利组织中的循证管理进行研究。

公共行政中的证据：挑战和机遇

“挑战”

证据中的不平等是一个挑战，因为它排除了在多个机构中实施的“一刀切”标准的可能。如果要以证据为基础做出决定，那么很可能会出现方法问题，是使用实验法、准实验法还是其他定量研究方法。Hall和Jennings（2008）通过将证据需求刻画为决策中所涉风险的水平来处理这一难题。他们后来的研究（Jennings＆Hall 2012）记录了12种类型的国家机构不同程度的证据咨询。如何解释这种变化？它是严格上讲是证据可达性和功能特定规范的函数吗？

对有效使用EBP提出的另一个挑战，对证据的规范性选择可能会影响循证分析，从而影响机构的绩效。描述问题的方式决定了所寻求的信息或证据的类型。尽管证据可能是客观和科学的，但选择使用哪种类型的证据以及如何权衡相互冲突的结果仍然是一个政治过程。

事实上，EBP面临的一个核心挑战是价值观和信仰在政治和政策过程中所扮演的角色：价值观影响问题的形成方式，并对我们解释证据的方式产生强大影响。价值观可能会影响我们就某一主题产生或检验证据的程度，当然也会影响证据纳入决策的程度。

“机遇”

循证实践研究历史还很短，至今其研究限于规范性和描述性研究，并集中于国家和州政府机构。未来可以更深入地了解这些实体，将范围扩大到地方政府和非营利组织，并将分析扩展到更具解释性的研究。我们还需要根据循证实践的原因、潜在中介因素和后果更多地了解循证实践中个人和组织的关系。只有更好地理解这种关系才能重新构建治理结构、文化和政策。

从实践的角度来看，有必要更好地理清各机构和各级政府在能力上的差异，以帮助设计出能够公平和一致（或不一致）的应用的标准。我们需要了解及时创建、收集和提取证据所需的能力类型，以便机构能够快速响应可用证据回答的问题。我们还需要知道某些机构是如何引导他们培养和接受循证决策的。学者和实践者同样需要新的工具来研究组织和员工，为确定面对循证实践如何做准备以及面对障碍和限制。为此，本研究提供了一个衡量决策证据和研究标准的量表。

NERD量表的开发和实证检验

量表开发

NERD量表的开发和测试有以下步骤：（1）开发和评估大量项目，并得到该领域专家的反馈；（2）使用公共服务专业人员的样本测试项目，关注项目池的因子分析，以确定项目的分组并组成一个有用的量表；（3）用一个新的公共服务专业人员样本检验量表，重点是探索与其他变量理论上的预期关系。

重复和量表效度测试

样本来自公共服务研究小组，共559名活跃小组成员。用公共服务研究小组进行了第二次问卷调查，596名活跃的小组成员中109名成为受访者（应答率为18%）。第二次调查有两个主要的测量目的：重复进行NERD-6和NERD-3量表的信度分析；重要的是通过检查其与一组其他理论上相关的变量的相关性来检验量表的有效性。第二次调查的NERD-6量表和NERD-3量表的信度统计显示，NERD-6（α=0.86）的内部一致性与开发该量表时的原始调查几乎相同，NERD-3（α=0.79）的内部一致性比原始调查更高。这表明，NERD-6和NERD-3的信度能够很好地支持重复的样本。在第二次调查中加入了一系列标准变量，这些变量理论上应该与决策中证据和研究的规范使用有一定的关系，通过测量他们和NERD-6、NERD-3的相关性来测量这两个量表的效度。

讨论：调查和分析的可能路径

NERD量表提供了一种新的测量工具，可以告知并可能重塑我们对组织行为、决策和政策制定的理解。特别是，研究者和从业者可以利用该量表来更广泛地反映和研究不同预测因子对不同背景下NERD的影响，以及NERD对组织行为和绩效的影响。理论试图解释组织绩效的变化时，被忽略的变量偏差都会将观察到的影响降低为统计噪声，或可能降低为另一个密切相关的变量。如果EBP是一种旨在改善治理结果的理性实践，那么NERD应该影响这些结果。

统计分析表明，观察到的促使人们注意证据的主要力量是一个组织层面的规范，可以用六项NERD量表来衡量。该量表的项目包括于个人和组织两个层面的陈述，因此，似乎在决策过程中关注证据在很大程度上是组织规范的功能，而不是个人偏好。量表显示α=值为0.86，具有很强的内部一致性，并且在第二次调查中验证了结果。基于对证据使用和研究的偏好，组织规范或文化维度的发现为研究尚未观察到的其他潜在关系（如组织与其成员之间的关系）提供了可能。

研究调查了组织文化在塑造其他理性工具（如绩效衡量）使用中的作用。很可能，在这个证据时代，具有高NERD分数的组织可以更好地处绩效数据和科学证据。机构越来越重视政策和实践决定中证据的时代，个人行为属性可能使一些人倾向于在特定机构从事职业，实际上可能会促进绩效。

如果您喜欢此文，请转发和分享给朋友们。谢谢！

附参考文献考文献附参考文献

.Funk, Cary, and Sara Kehaulani Goo. 2015. A Look at What the Public Knows and Does Not Know about Science. Pew Research Center, September 10. http://pewrsr.ch/1MdWkF8 (accessed September 5, 2018).

George, Bert, and Sanjay K. Pandey. 2017. We Know the Yin—But Where Is the Yang? Toward a Balanced Approach on Common Source Bias in Public Administration Scholarship. Review of Public Personnel Administration 37(2): 245–70.

Hall, Jeremy L., and Edward T. Jennings, Jr. 2010. Assessing the Use and Weight of Information and Evidence in US State Policy Decisions. Policy and Society 29(2): 137–47.

James, Oliver, Sebastian R. Jilke, and Gregg G. Van Ryzin, eds. 2017. Experiments in Public Management Research: Challenges and Contributions. New York: Cambridge University Press.

Jennings, Edward T., Jr., and Jeremy L. Hall. 2012. Evidence-Based Practice and the Use of Information in State Agency Decision-Making. Journal of Public Administration Research and Theory 22(2): 245–66.

Podsakoff, Philip M., Scott B. MacKenzie, and Nathan P. Podsakoff. 2012. Sources of Method Bias in Social Science Research and Recommendations on How to Control It. Annual Review of Psychology 63: 539–69.

近期推送的相关文献：(直接点击链接即可进入该页面)

原文链接（阅读原文　点击左下角）：

https://onlinelibrary.wiley.com/doi/10.1111/puar.12995

此处也可以下载全文：

https://www.researchgate.net/publication/327862272_A_Norm_of_Evidence_and_Research_in_Decision-making_NERD_Scale_Development_Reliability_and_Validity/amp

凤凰网一点资讯：

http://www.yidianzixun.com/channel/m408752

欢迎您提出与本文内容、主题或翻译有关的各种问题与建议！

欢迎关注、订阅微信公众号【治理学术】。本公众号是由公共管理与政治学学科的老师和学生志愿者开发的学术和交流平台，重点是治理理论与实践领域的热点问题，我们每日整理、翻译并推荐一篇最新权威英文文献。核心内容分为三大板块：1、治理理论　文献与探索，2、管理实践　治理与反思，3、公共治理　教学与交流。

欢迎推荐或自荐研究成果，来稿请致邮箱：[e-mail]

PS：如何加入微信公众号：

您可以扫描下面的二维码，或者搜索公众号：“治理学术”，或者加原始ID: 
　 gh_dd2c06e61722　然后点击加入即可。

PS：如何查看以前推送的精彩文章：

您只要点标题下方的“治理学术”，并选择“查看历史消息”即可，精彩就会尽现。谢谢！